データエンジニアリング
Apache Spark 4.1 深掘り — 宣言型パイプライン・Real-Time Mode・PySpark 強化の全貌
Apache Spark 4.1 の主要機能を深掘り解説。Spark Declarative Pipelines・Structured Streaming の Real-Time Mode・PySpark Arrow UDF など実務に直結するアップデートをまとめます。
Apache Spark 4.1 の主要機能を深掘り解説。Spark Declarative Pipelines・Structured Streaming の Real-Time Mode・PySpark Arrow UDF など実務に直結するアップデートをまとめます。
2026年のデータエンジニアリングの主要トピックを整理。dbt Labs と Fivetran の合併、dbt Fusion Engine の Spark 対応、Apache Spark 4.x の進化、そして「速度より信頼」へのシフトを解説します。
dbt Core 1.11 の UDF ファーストクラスサポートと JSON スキーマ検証、Apache Spark 4.1 の宣言的パイプライン(SDP)とリアルタイムストリーミングモード(RTM)を公式情報をもとに解説します。